How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
LLM 推断提示词结构的评估结论可复现性审计
🧭 LLM 评估排名可复现性审计
Skelf Research
自审计 8 个开源 LLM 的 prompt 结构推断评估，发现排名仅底部稳定，小样本评估可能过度确定性
📌 工作参考价值（4 点）
- 内部 LLM 评估（如生成式推荐里的 Semantic ID 提取、query 解析、prompt 结构推断）不要只看平均排名的表格，必须补充 bootstrap 排名稳定性；业务上若只根据顶部模型排名做流量分配或 A/B 决策，可能选中的是噪声上的赢家。
- 温度为零不意味着确定性，同一输入多次调用可能返回不同结构；在关键抽取或推理链路中增加重复运行、记录原始输出，用一致性投票或阈值过滤，不要依赖单次输出。
- 模型 API 端点可能在几周内撤回或改变，线上效果会漂移；工程上应固定模型版本或内部部署，并在评估报告中记录 measurement date 和模型 revision，保证可追溯。
- “可复现”不等于“准确”：模型输出自一致不能替代与 ground-truth 的对比，尤其在 prompt 结构推断等任务中，要额外做人工标注一致性验证。